import time

import pandas as pd
import pyarrow as pa
import pyarrow.parquet as pq

import 去除企宽


def csv_to_parquet(csv_path: str, parquet_path: str, encoding: str = 'utf-8') -> None:
    """
    使用pyarrow将CSV文件转换为Parquet文件，并可指定CSV文件的编码。

    :param csv_path: CSV文件路径。
    :param parquet_path: Parquet文件输出路径。
    :param encoding: CSV文件的编码，默认为'utf - 8'。
    """
    a = time.time()
    pos = pd.read_csv(
        csv_path,
        encoding=encoding, dtype=str)
    print(time.time() - a)
    pos.to_parquet(parquet_path)


csv_to_parquet(r"D:\家宽\综资\综资数据(更新至2025年5月27日)\20250527171102_CONNECT_POS.csv",
               r"D:\家宽\综资\综资数据(更新至2025年5月27日)\pos_parquet.csv")
